Huyện Ia Grai được thành lập ngày 27 tháng 2 năm 1996 theo Nghị định 70/CP của Chính phủ Việt Nam trên cơ sở tách 9 xã: Ia Sao, Ia Hrung, Ia Krai, Ia Grai, Ia Kênh, Ia O, Ia Dêr, Ia Chia, Ia Pếch và thị trấn Chư Păh thuộc huyện Chư Păh, đồng thời đổi tên xã Ia Grai thành xã Ia Tô, đổi tên thị trấn Chư Păh thành thị trấn Ia Kha.

Ngày 26 tháng 12 năm 2001, thành lập xã Ia Khai trên cơ sở 16.518,5 ha diện tích tự nhiên và 2.475 nhân khẩu của xã Ia Krai.

Ngày 13 tháng 5 năm 2002, sáp nhập xã Ia Kênh vào thành phố Pleiku.

Ngày 16 tháng 2 năm 2005, thành lập xã Ia Grăng trên cơ sở 1.914 ha diện tích tự nhiên và 908 nhân khẩu của thị trấn Ia Kha, 9.801 ha diện tích tự nhiên và 1.155 nhân khẩu của xã Ia Tô. 

Ngày 21 tháng 4 năm 2006, thành lập xã Ia Bă trên cơ sở 11.212,05 ha diện tích tự nhiên và 5.905 nhân khẩu của xã Ia Hrung; thành lập xã Ia Yok trên cơ sở 2.642,71 ha diện tích tự nhiên và 8.246 nhân khẩu của xã Ia Sao.